[アップデート]AWS Glueで独自の変換を作成できるカスタムビジュアル変換（custom visual transform）が登場しました #reinvent

データアナリティクス事業本部インテグレーション部コンサルティングチーム・新納（にいの）です。

日本時間2022/11/29に、AWS Glueのビジュアルエディタで独自の変換を定義でき、他のジョブにも再利用可能なカスタムビジュアル変換（custom visual transform）がリリースされました。

custom visual transformとは

チーム間でビジネス固有のETLロジックを定義し、別のGlueジョブで再利用、または共有する機能です。

Glueのビジュアルジョブエディタはコーディング無しでETLジョブの作成が可能ですが、標準で提供されている変換ノードだけだと物足りない、かといってコーディングに慣れていないユーザーがカスタマイズでコードを書くのは難しい…というケースがありました。custom visual transformを使用すれば独自の変換を定義し、標準で提供されている変換ノードと同じようにメニューから選べるようになります。ローコードなETL開発者がAWS Glue Studioから変換ロジックを検索して利用できるようになり、ますますローコードのETLジョブ開発者に優しくなりました。

具体例を見てみましょう。従来のGlue Studioが標準で提供していた変換ノードをユーザー自身が作成できるようなイメージです。以下のように、オリジナルのパラメータ入力画面も作成可能です。

（画像引用：Step 1. Create a JSON config file - AWS Glue Studio）

おわりに

GlueのビジュアルエディタはローコードでETLジョブ作成が可能なところが売りであるものの、独自の変換処理を作成するにはcustom transformでコードを書く必要がありました。今回のアップデートで一度JSONやPythonで変換やパラメータを定義してしまえば使いまわせるようになるということで、Glueの利用シーンが広がる機能だと感じています。実際の使い方は追ってブログにしてお届けする予定です！